【论文泛读50】阅读理解领域和跨语言概括的对抗性增强策略搜索

贴一下汇总贴：论文阅读记录

论文链接：《Adversarial Augmentation Policy Search for Domain and Cross-Lingual Generalization in Reading Comprehension》

阅读理解模型通常会过分适合训练数据集的细微差别，并且在对抗性评估上会失败。使用对抗性扩充的数据集进行训练可提高抵御那些对抗性攻击的鲁棒性，但会损害模型的概括性。在这项工作中，我们提出了几种有效的对手和自动数据增强策略搜索方法，其目标是使阅读理解模型对对手评估更加健壮，同时也提高了对源域以及新域和语言的泛化能力。我们首先提出了三种生成QA对手的新方法，这些新方法在上下文中引入了多个混淆点，表明了对干扰因素插入位置的依赖性，并揭示了将对抗策略与句法和语义释义方法相混合的复合效果。下一个，我们发现，使用统一采样的对手来扩充训练数据集可以提高对抗攻击的鲁棒性，但会导致原始的未扩充数据集的性能下降。我们通过RL和更有效的贝叶斯策略搜索方法解决了这个问题，该方法可以自动为大型搜索空间中的每个对手学习转化概率的最佳增强策略组合。使用这些经验丰富的策略，我们表明对抗训练可以显着改善域内，域外和跨语言（德语，俄语，土耳其语）的泛化能力。我们通过RL和更有效的贝叶斯策略搜索方法解决了这个问题，该方法可以自动为大型搜索空间中的每个对手学习转化概率的最佳增强策略组合。使用这些经验丰富的策略，我们表明对抗训练可以显着改善域内，域外和跨语言（德语，俄语，土耳其语）的泛化能力。我们通过RL和更有效的贝叶斯策略搜索方法解决了这个问题，该方法可以自动为大型搜索空间中的每个对手学习转化概率的最佳增强策略组合。使用这些经验丰富的策略，我们表明对抗训练可以显着改善域内，域外和跨语言（德语，俄语，土耳其语）的泛化能力。

我们表明，对抗训练可以提高阅读理解模型对对抗攻击的鲁棒性，也可以提高源域的性能和对域外和跨语言数据的泛化能力。我们提出了一种用于策略搜索的贝叶斯算法，其结果类似于计算密集型自动算法，但计算资源很少。通过将策略搜索与相应目标开发集的绩效回报相结合，我们证明了在SQuAD上训练的模型可以推广到新闻问答和德语、俄语、土耳其语跨语言数据集，而不需要来自目标领域或语言的任何训练数据。

自动调整控制器和贝叶斯优化器的训练循环流程图：